MentalThink: Shaping Thoughts in Mental SVG World
MentalThink:在心理SVG世界中塑造思维
🧭 多模态视觉推理 · SVG中间表示
Beijing University of Posts and Telecommunications · University of Chinese Academy of Sciences · StepFun
让多模态大模型生成并执行SVG代码作为中间视觉表示,实现可验证的空间推理。
📌 工作参考价值(4 点)
- 商品空间关系理解:用 SVG 生成商品轮廓与布局,辅助多模态模型理解复杂场景(如家具搭配、服装层次),提升搜索与推荐的准确性。
- Agent 多步规划:借鉴“心理图像”机制,在 Agent 执行动作前生成场景 SVG 草图,用于自我反思和步骤优化,提高任务成功率。
- 广告创意迭代:利用 SVG 的可编辑性,快速生成和调整广告图片的空间构图,结合 RL 迭代精炼,降低人工设计成本。
- 训练范式复用:SFT 对齐结构化语法 + 多轮 RL 迭代修正是可迁移的通用训练策略,适合需要精确控制输出格式(如图形代码)的生成式推荐场景。